总和|本文_查询所有HIVE表分区数据量

篇首语：本文由编程笔记#小编为大家整理，主要介绍了查询所有HIVE表分区数据量相关的知识，希望对你有一定的参考价值。

文章目录

• 概述
• • 创建分区表
  • 查看单个HIVE表分区的行数
  • 查看单个HIVE表分区的行数和数据占用
  • 批量查询HIVE表分区的行数和数据占用
  
  
• 补充

• 查询HIVE表分区的数据占用和行数&＃xff0c;用于数据治理
• 通常&＃xff0c;每天一个分区&＃xff1b;
  通常&＃xff0c;今天查看昨天分区数据量
  本文日期分区字段为ymd

创建分区表

-- 创建多级分区表
DROP TABLE IF EXISTS t3;
CREATE TABLE t3 (f1 STRING,f2 INT)
PARTITIONED BY (ymd STRING COMMENT &＃39;年月日&＃39;,h INT COMMENT &＃39;时&＃39;);
-- 插入数据
INSERT INTO TABLE t3 PARTITION(ymd&＃61;&＃39;2022-08-08&＃39;,h&＃61;8)
VALUES (&＃39;ef&＃39;,9),(&＃39;hh&＃39;,13);


查看单个HIVE表分区的行数

SELECT COUNT(1) FROM 表 WHERE 分区&＃61;"分区值";


查看单个HIVE表分区的行数和数据占用

DESC FORMATTED 表 PARTITION(分区&＃61;"分区值");


批量查询HIVE表分区的行数和数据占用

HIVE元数据存储在MySQL&＃xff0c;模型如下&＃xff1a;

E-R图

批量查询HIVE表分区的行数和数据占用的SQL

SELECT
table_name
,PART_NAME AS partition_name
,create_time
,num_files
,num_rows
,raw_data_size
,total_size
-- ,num_files_erasure_coded
,transient_last_ddl_time
,column_stats_accurate
FROM ( -- 昨天分区
SELECT PART_NAME,PART_ID,TBL_ID,FROM_UNIXTIME(CREATE_TIME,"%Y-%m-%d %h:%i:%s") AS create_time FROM PARTITIONS
WHERE PART_NAME&＃61;CONCAT("ymd&＃61;",DATE_FORMAT(DATE_SUB(CURRENT_DATE(),INTERVAL 1 DAY),"%Y-%m-%d"))
)t1
INNER JOIN ( -- 库名.表名&＃xff08;筛选外部表&＃xff09;
SELECT CONCAT(DBS.NAME,TBLS.TBL_NAME) AS table_name,TBL_ID
FROM DBS INNER JOIN TBLS ON DBS.DB_ID&＃61;TBLS.DB_ID
WHERE TBLS.TBL_TYPE&＃61;"EXTERNAL_TABLE"
-- OR TBLS.TBL_TYPE&＃61;"MANAGED_TABLE"
)t0 ON t1.TBL_ID&＃61;t0.TBL_ID
INNER JOIN (
SELECT
PART_ID
,MAX(IF(PARAM_KEY&＃61;"numFiles",PARAM_VALUE&＃43;0,NULL)) AS num_files
,MAX(IF(PARAM_KEY&＃61;"numRows",PARAM_VALUE&＃43;0,NULL)) AS num_rows
,MAX(IF(PARAM_KEY&＃61;"rawDataSize",PARAM_VALUE&＃43;0,NULL)) AS raw_data_size
,MAX(IF(PARAM_KEY&＃61;"totalSize",PARAM_VALUE&＃43;0,NULL)) AS total_size
,MAX(IF(PARAM_KEY&＃61;"numFilesErasureCoded",PARAM_VALUE&＃43;0,NULL)) AS num_files_erasure_coded
,MAX(IF(PARAM_KEY&＃61;"transient_lastDdlTime",FROM_UNIXTIME(PARAM_VALUE,"%Y-%m-%d %h:%i:%s"),NULL)) AS transient_last_ddl_time
,MAX(IF(PARAM_KEY&＃61;"COLUMN_STATS_ACCURATE",PARAM_VALUE,NULL)) AS column_stats_accurate
FROM PARTITION_PARAMS
GROUP BY PART_ID
-- HAVING column_stats_accurate IS NOT NULL
)t2 ON t1.PART_ID&＃61;t2.PART_ID;


• HIVE的LODA DATA和Sqoop的hive-import写进分区&＃xff0c;是冇计算行数的
• 建议&＃xff1a;HIVELODA DATA或Sqoophive-import到中间表&＃xff0c;再从中间表SELECT INSERT到ODS层
  两个好处&＃xff1a;1、计算行数&＃xff1b;2、合并小文件

查询所有HIVE表行数

select distinct &＃96;PARAM_KEY&＃96; from &＃96;TABLE_PARAMS&＃96;;


查询所有HIVE表行数总和